In een akte van 1232 was al sprake van een hoeve op de plaats van het kasteel van Schoten. Deze hoeve groeide uit tot een poorterswoning en in daaropvolgende eeuwen tot een volwaardig kasteel.
In 1548 kreeg het kasteel van Schoten, zoals vele anderen, het bezoek van Maarten van Rossem en zijn benden. Het kasteel werd totaal verwoest. Onder het beleid van burgemeester van Antwerpen, Jan Crombach, werd het kasteel onmiddellijk heropgebouwd. Keizer Karel had hem tot ridder geslagen omdat hij zich had onderscheiden bij de verdediging van Antwerpen tegen de “Zwerte Maerten”.
Het vroegere kasteel van Schoten werd herhaaldelijk verbouwd en gerestaureerd. De vier hoektorens dateren van de 16de eeuw, toen het kasteel voor een groot deel zijn huidige aanblik kreeg. In 1950 kocht het gemeentebestuur van Schoten het kasteel en in 1955 werd het ingericht als cultureel centrum.